Dari Januari hingga Oktober 2002, Kōno merupakan Setiausaha Parlimen untuk Pengurusan Awam, yang bertanggungjawab untuk pembaharuan pentadbiran, pemerintah tempatan, dan "e-kerajaan." Dari November 2005 hingga September 2006, beliau adalah Naib Menteri Kanan Kehakiman dalam kabinet Koizumi.

Pada Oktober 2002, Kōno dilantik sebagai Pengarah Jawatankuasa Luar Negeri Dewan Perwakilan. Beliau mengundurkan diri dari jawatan ini pada dua bulan kemudian sebagai protes atas dasar Perang Iraq, menuduh Menteri Luar Negeri Kawaguchi tidak menjelaskan dasar pemerintah secara memadai.

Kōno adalah Pemangku Pengerusi Jawatankuasa Parti Demokratik Liberal hingga November 2003 dan merupakan salah seorang dari beberapa ahli LDP yang menentang pengiriman Angkatan Pertahanan Diri ke Iraq.

Pada 2004, Kōno, ketika itu berumur 41 tahun, dilantik sebagai Penolong Setiausaha Agung Parti Demokratik Liber, dan juga dipilih sebagai Pengerusi Wilayah Parti Demokratik Liberal di Wilayah Kanagawa. Beliau juga merupakan Pengerusi Wilayah termuda dalam LDP. Pada 2005, beliau memimpin LDP di Kanagawa pada pilihan raya.

Pada 2004, Kōno menaja Pindaan Sekatan Ekonomi terhadap Undang-Undang Pertukaran Asing, yang memberikan pemerintah kuasa untuk secara sepihak mengisytiharkan sekatan ekonomi ke atas setiap negara; dan Rang Undang-Undang Penutupan Pelabuhan, yang memungkinkan pemerintah menolak kemasukan kapal asing ke pelabuhan Jepun. Laman sesawangnya menyatakan bahawa "Korea Utara adalah sasarannya." Beliau juga menaja Rang Undang-Undang Pembaharuan PBB yang mengharuskan pemerintah mengurangi sumbangan sukarela kepada Sistem PBB sebanyak 10 peratus setiap tahun sehingga perubahan dibuat dalam keanggotaan Majlis Keselamatan.

Kōno mengundurkan diri sebagai ketua LDP Kanagawa setelah pilihan raya tempatan 2007, di mana calon yang disokong LDP Tadashi Sugino tewas kepada penyandang jawatan Shigefumi Matsuzawa. Beliau menjadi ketua Jawatankuasa Hal Ehwal Luar Negeri Dewan Perwakilan pada September 2008. Beliau bertanding untuk jawatan Presiden LDP pada 2009, tetapi dikalahkan oleh Sadakazu Tanigaki.[2]

Kōno menggantikan Hiroyuki Sonoda sebagai Timbalan Setiausaha Agung LDP pada April 2010, setelah Sonoda meninggalkan parti itu untuk menyertai Parti Matahari Terbit Jepun.